iT邦幫忙

2023 iThome 鐵人賽

DAY 19
2
AI & Data

MLOps/LLMOps - 從零開始系列 第 19

Day19 - Ray Cluster 安裝之一: 基礎環境準備

  • 分享至 

  • xImage
  •  

從前兩篇的介紹可以知道,Ray 基本上就是可以架設在 Kubernetes 上的分散式運算框架,所以我們要先準備好 Kubernetes 的環境,才能夠進行 Ray 的安裝。

https://ithelp.ithome.com.tw/upload/images/20231004/200916435TGqmhnzre.png

Ray on Kubernetes

官方建議方式就是透過 KubeRay Operator 安裝在 Kubernetes 上,而且支援異質性的節點,也就是說可以在不同的機器上包括 GPUs。

KubeRay 有三個 CRDs,分別是 RayCluster, RayJob, and RayService,這三個 CRDs 可以幫助使用者有效地管理 Ray 集群,以適應各種使用案例。

接下的實機操作都是在 Ubuntu 22.04, macOS 上面操作,另外也感謝 CNTUG Infra Lab 社群 支援的虛擬機環境進行 GPU 的驗證。 m(___)m

Reference:


上一篇
Day18 - MLOps 自架環境之二: Ray Cluster 基本觀念與架構
下一篇
Day20 - Ray Cluster 安裝之二: Ray Cluster 安裝 (single-node) 與測試
系列文
MLOps/LLMOps - 從零開始30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言